Ce jardin tire son nom du fait qu'il était pris en sandwich entre les fortifications du XVIe siècle et celles qui ont suivi un siècle plus tard.
À côté de la Place de Neuve, il y a aussi le plus ancien bâtiment universitaire construit en 1873. Le 21 juin, le Parc des Bastions donne des concerts dans le cadre du Festival International de la Fête de la Musique.
Les jetons d'échecs sont disponibles en taille réelle pour tous les passants, et il y a aussi des tables de ping-pong et une patinoire en hiver.
